ReSPO: Reshaped Sequence Policy Optimization for Gradient Starvation in Off-Policy Learning
ReSPO：重塑序列策略优化以应对离线策略学习梯度饥饿
🧭 RLVR 离线策略训练优化
Department of Computer Science, University of California, Los Angeles
提出 ReSPO，用平滑两分支序列级核替换裁剪，修正重要性权重尾部梯度饥饿，加速 RLVR 训练
📌 工作参考价值（4 点）
- 若在 RLVR 训练中复用 rollout 且使用 GRPO/GSPO 时，模型难以学到低频但高奖励的长轨迹（如多步 Agent 决策、长链推荐理由生成），可替换为 ReSPO 的平滑序列级核：正分支保留低重要性权重正样本的非零梯度，负分支抑制高权重负样本，避免梯度饥饿。
- 对 LLM 生成搜索 query、广告文案或推荐解释的强化学习微调，在 reward 稀疏、正样本稀缺场景下，ReSPO 正分支能加速早期优化，比传统 clipping 更友好。
- 工程实现上，ReSPO 核是序列重要性比 W=πθ(o|q)/πold(o|q) 的函数，可与现有 GRPO/GSPO 代码低耦合替换；只需缓存 old policy 的 rollout 来计算比率，复用现有离线数据流即可。
- 论文在 dense 和 MoE Qwen3 上验证有效，对工业级大规模模型与 MoE 架构有迁移参考价值，但需注意业务 reward 信号若噪声较大，仍需配合 variance-control tilt 稳定训练。